Do LLM Agents Execute the Plans They Declare? From Planning-Mode Declaration to Pattern-Specific Execution
LLM Agent 是否执行所声明的计划？从规划模式声明到模式化执行
🧭 Agent 规划声明与执行一致性诊断 ★ 深度解读
ADIA Lab, Abu Dhabi, United Arab Emirates · University of Granada, Granada, Spain · Luxembourg Institute of Science and Technology, Luxembourg · Cornell University, Ithaca, USA · Lawrence Berkeley National Laboratory, Berkeley, CA
提出 Planning-as-Routing：LLM 声明规划模式并由确定性路由器分派给对应执行器，显著缩小声明-执行差距，但模式选择仍是瓶颈
📌 工作参考价值（4 点）
- 业务 Agent 设计：不要把 LLM 生成的计划仅仅作为 prompt 交给通用 ReAct loop；要把 planning mode 映射到可执行 control flow（predefined/sequential/hierarchical/search）。长链路任务（多步商品约束搜索、广告账户搭建、售后工单处理）优先用 hierarchical/search 执行器，短任务用 predefined 更省成本。
- 评估体系：新增 process-level 指标（plan adherence、plan-order faithfulness、declaration-execution preservation），不要只看最终成功率。可以用规则 verifier 或轻量 judge 检查轨迹是否按声明顺序执行，快速区分是选错模式还是执行漂移。
- 路由与选型：做 planning mode 路由前，先跑 forced dispatch 得到每个模式在目标任务集上的 ceiling；如果 per-task oracle 相对 best fixed policy 的 headroom 很小，就不值得做复杂 selection，固定最优模式+多次重试更划算。
- 少样本与选择先验：few-shot 对模式选择有正收益但不稳定，需按业务环境和模型分别验证；当前 LLM 零样本选择接近任务无关偏好，不要默认模型会为每个任务选对 planning mode。